Первоначально ГОИ целиком располагался в нескольких помещениях Физического института. Первым зданием, передачи которого в ведение ГОИ добился Рождественский, стал дом под № 4 по Биржевой линии, ранее занимавшийся национализированной к тому времени шоколадной фабрикой А. И. Колесникова. После проведённой реконструкции в 1923 году в него въехали почти все отделы института. Продолжая расширяться, в течение первых десяти лет своего существования ГОИ занял и следующие дома, расположенные по Биржевой линии, включая крупный дом № 14[6].